Predicting Quantization Price for Selecting PTQ Configurations Before Deployment
预测量化价格以在部署前选择 PTQ 配置
🧭 LLM 权重 PTQ 配置选择与价格预测 ★ 深度解读
HKUST-GZ
用 forward KL 诱导的二次价格统一比较位宽、粒度、变换等 PTQ 配置，实现预算约束下的部署前选择
📌 工作参考价值（4 点）
- 部署 LLM 推荐/Agent 模型时，可用校准时价格表快速筛选量化配置（位宽、粒度、预量化变换），避免反复构建完整量化模型，节省大量实验时间。
- 把量化配置视为统一候选，用输出侧曲率加权误差协方差（而非仅重建误差或输入对角线统计）排序，能更贴近下游任务效果，适合对线上精度敏感的生成式推荐/Agent 场景。
- 在成本受限的部署（如端侧推理）中，引入部署成本约束做 budgeted search，显式权衡精度与资源，对工程实现有直接参考价值。
- 实现上只需 Hutchinson 估计曲率迹和扰动矩，不需要完整 Hessian，可作为轻量校准步骤嵌入现有 PTQ 流程。